Abang Johari dilahirkan di Limbang, Sarawak pada 4 Ogos 1949. Beliau merupakan anak bongsu kepada Tun Abang Haji Openg Abang Shapie dan Toh Puan Dayang Hajjah Masniah Abdulrahman. Bapanya dilantik sebagai Yang di-Pertua Negeri Sarawak yang pertama dari tahun 1963 hingga 1969.

Beliau berkahwin dengan Datin Patinggi Jumaani Tuanku Bujang selama 38 tahun dan dikurniakan seorang anak lelaki dan seorang anak perempuan iaitu Abang Abdillah Izzarim, 37 dan Dayang Norjihan, 35.[6]